Het lijdt geen twijfel dat in de 14de eeuw gebouwde burchttoren een voorpost was in de verdedigingslijn van Antwerpen, waartoe ook Cleydael behoorde. Het strategisch belang van deze plaats, op enkele kilometers van de Kleine Nete, is zelfs nog in de 20ste eeuw gebleken. Het Belgische leger had er immers een fort gebouwd, dat weerstand bood aan de Duitsers tot 7 oktober 1914.
De oudst bekende eigenaar van de burcht wordt vermeld in een oorkonde uit het jaar 1346. Hij noemde Jan van den Bossche, verlatijnst tot Joannes de Busco, vandaar de naam Bossenstein. Bossenstein kwam later in handen van Adam van Bergchem. Deze krijgsheer werd omstreeks 1345 geboren. Hij zou belangrijke veranderingen aan het kasteel hebben aangebracht. De familie van Bergchem verkocht Bossenstein in 1544 aan de Antwerpse stadssecretaris Guilelmus van der Rijt.
Het waterkasteel Bossenstein is een dubbel omwald kasteel in baksteen- en zandsteenarchitectuur. Het kasteel bezit een donjon uit de 14de eeuw en onderging belangrijke verbouwingen in de 16de eeuw.
Tijdens de Eerste Wereldoorlog is het kasteel beschadigd geraakt, maar nadien weer gerestaureerd. Het kasteel werd in 1958 beschermd als monument.
In 1962 werd ook een belangrijk gedeelte van het kasteeldomein beschermd als landschap. Op een groot deel van het beboomde domein rondom het kasteel werd intussen een golfterrein aangelegd.